Quality of experience in telemeetings and videoconferencing: a comprehensive survey

Telemeetings such as audiovisual conferences or virtual meetings play an increasingly important role in our professional and private lives. For that reason, system developers and service providers will strive for an optimal experience for the user, while at the same time optimizing technical and financial resources. This leads to the discipline of Quality of Experience (QoE), an active field originating from the telecommunication and multimedia engineering domains, that strives for understanding, measuring, and designing the quality experience with multimedia technology. This paper provides the reader with an entry point to the large and still growing field of QoE of telemeetings, by taking a holistic perspective, considering both technical and non-technical aspects, and by focusing on current and near-future services. Addressing both researchers and practitioners, the paper first provides a comprehensive survey of factors and processes that contribute to the QoE of telemeetings, followed by an overview of relevant state-of-the-art methods for QoE assessment. To embed this knowledge into recent technology developments, the paper continues with an overview of current trends, focusing on the field of eXtended Reality (XR) applications for communication purposes. Given the complexity of telemeeting QoE and the current trends, new challenges for a QoE assessment of telemeetings are identified. To overcome these challenges, the paper presents a novel Profile Template for characterizing telemeetings from the holistic perspective endorsed in this paper

Qualitätswahrnehmung von Konferenz- und Telemeeting-Systemen : Methoden und Modelle zur Beurteilung und Prädiktion

Die vorliegende Dissertation behandelt die Qualitätswahrnehmung von Telemeetingsystemen, d.h. audiovisuellen Telekonferenzsystemen, bei denen mehr als zwei Gesprächspartner miteinander verbunden sind. Die Dissertation legt den Schwerpunkt auf zwei Aspekte, die ein Telemeeting, d.h. Mehrpersonengespräch über ein Telemeetingsystem, von einem konventionellen (Video-)Telefonat zwischen zwei Teilnehmer unterscheiden. Der erste Aspekt ist die besondere kommunikative Situation, die sich dadurch hervorhebt, dass sie ein Gruppengespräch darstellt, welches über ein Telekommunikationssystem stattfindet. Der zweite Aspekt ist die Möglichkeit, dass die Nutzer asymmetrische Verbindungen antreffen können, d.h. dass die Gesprächspartner mit unterschiedlichen Geräten und Leitungseigenschaften verbunden sind. Das wiederum ermöglicht es, verschiedene Niveaus einer Telemeetingqualität erfahren zu können, nämlich die Qualität des gesamten Telemeetings und der Qualität der einzelnen Verbindungen der Teilnehmer. Zunächst wird in dieser Dissertation ein konzeptionelles Model entwickelt, welches as theoretische Grundlage dient. Danach wird eine Methode zur Durchführung von Qualitätstest für Mehrpersonengespräche beschrieben. Anschließend werden drei Experimente vorgestellt und analysiert, welche den Einfluss von kommunikativen Aspekten, genauer der Komplexität der Kommunikationssituation und der Anteilnahme am Gespräch, untersuchen. Danach werden sieben auditive und audiovisuelle Experimente vorgestellt und analysiert, welche den Einfluss der technischen Systemeigenschaften auf die oben genannten verschiedenen Qualitätsniveaus untersuchen. Zuletzt werden in dieser Dissertation Modelle entwickelt, welche Urteile der Gesamtqualität anhand von Qualitätsurteilen der Einzelverbindungen schätzen. Da Eingangs- und Ausgangsgrößen der vorgestellten Modelle perzeptive Nutzerurteile und nicht instrumentelle Qualitätsschätzungen sind, liefern die Modelle eine konzeptionelle Basis für die Entwicklung technischer Lösungen. Die wesentlichen Erkenntnisse dieser Arbeit sind: 1. Eine komplexere Kommunikationssituation kann unter denselben technischen Bedingungen zu niedrigeren Qualitätsurteilen führen als eine weniger komplexe Kommunikationssituation. 2. Der Einfluss der Anteilnahme am Gespräch in einem Qualitätstest kann größer sein als der Effekt der getesteten technischen Bedingungen. 3. Es existiert eine gegenseitige Beeinflussung der Qualitätsurteile der Einzelverbindungen in einem Gespräch, wobei diese Beeinflussung von den technischen Bedingungen abhängt. 4. Das Qualitätsurteil des gesamten Systems kann in vielen Fällen als einfacher Mittelwert der Qualitätsurteile der Einzelverbindungen geschätzt werden. Jedoch für mehrere technische Bedingungen liefern komplexere Schätzmodelle bessere Ergebnisse. 5. Die besten Modelle ereichen Korrelationskoeffizienten von bis zu 0.95 und RMSE-Werte (Wurzel des Mittleren Quadratischen Fehlers) von 0.45 auf der 5-Punkte Absolute-Category-Rating-Skala. Das zeigt, dass es möglich ist, die Gesamtqualität anhand der Einzelverbindungsqualitäten angemessen schätzen zu können. 6. Es hat sich keine Modellfunktion herausgestellt, die als einzige alle anderen untersuchten Funktionen signifikant übertrifft. Jedoch zeigte eine der Funktionen den besten Kompromiss zwischen zwei grundsätzlichen Trends: Ist die Gesamtqualität gut, dann liegt der Mittelwert der Einzelverbindungsurteile sehr nahe an dem Gesamturteil; ist die Gesamtqualität schlecht, dann liegt das Minimum der Einzelverbindungsurteile sehr nahe an dem Gesamturteil. Demnach berechnet sich die meist versprechendste Modellierungsfunktion als eine gewichtete Kombination aus Mittelwert und Minimum der Einzelverbindungsurteile, wobei die Gewichtung selbst wiederum vom Mittelwert abhängt. 7. Einzelne Details bei Design und Durchführung der Qualitätstests zeigten unterschiedliche Messempfindlichkeiten hinsichtlich der drei Punkte Detektion der gegenseitigen Beeinflussung der Einzelverbindugen, Aufspüren von Belegen, dass eine einfache Mittelung nicht ausreicht, und Nachweisen des Zugewinns durch Verwendung komplexerer Schätzmodelle. Als nächste Schritte für weitere Arbeiten bietet sich die Umsetzung der gewonnenen Erkenntnisse in technische Lösungen an. Dieses würde zunächst eine Nachbildung der Modellierung beinhalten, in der die perzeptiven Qualitätsurteile der Einzelverbindungen durch instrumentelle Qualitätsschätzungen ersetzt werden. Später könnten dann solche Modelle durch das Einbinden der kommunikativen Aspekte verbessert werden. Dieses wiederum erfordert die Entwicklung technischer Ansätze zur Schätzung derartiger kommunikativer Aspekte wie der hier untersuchten Komplexität der Kommunikationssituation oder der Anteilnahme am Gespräch.This thesis investigates quality perception of multiparty audio and video conferencing systems, in short telemeeting systems. It is built around two aspects that differentiate a multiparty telemeeting from a conventional two-party (video) telephony call. The first aspect is the special communicative situation, that is, having a group conversation over a telecommunication system. The second aspect is the possibility of encountering asymmetric connections, that is, participants are connected with different equipment or connection properties. This in turn leads to the possibility to perceive different levels of telemeeting quality, i.e. the quality of the whole telemeeting and the quality of the individual connections of participants. First, this thesis develops a conceptual model that serves as a theoretical foundation. Then it describes a methodology to conduct multiparty quality assessment tests. Next it analyzes three experiments on the impact of the communicative aspects (i.e. communication complexity and involvement) on telemeeting quality. Then it analyzes seven audio-only and audiovisual experiments on the impact of technical conditions on the different levels of telemeeting quality. And finally it develops models that predict overall telemeeting quality scores based on the quality scores of the individual connections. Since all considered scores are perceptual ratings and not estimations obtained from instrumental methods, these models are conceptual ones, which serve as the foundation for developing technical solutions. The main findings of the experimental chapters are: 1. An increased communication complexity can lead to lower quality ratings for the same technical conditions. 2. The effect of involvement in a quality assessment test can be larger than that due to the tested technical conditions. 3. There exists a mutual influence on the quality scores of individual connections, whereas this depends on the character of the actual technical conditions. 4. The overall telemeeting quality can be expressed as a simple mean of the individual connection quality scores. However, for some technical conditions, more complex models achieve better results. 5. With correlation coefficients up to 0.95 and root mean square errors down to 0.45 on the absolute category rating scale, it is possible to adequately model the overall telemeeting quality based on the individual connection quality scores. 6. No single modeling function is the winning function in terms of significantly outperforming all other functions. However, one advanced modeling function appeared to provide the best compromise between two fundamental trends: if the telemeeting quality score is high, then the mean of individual connection quality scores is close to that score, if the telemeeting quality score is low, then the minimum of the individual connection quality scores is close. Accordingly, the most promising modeling function is computed as the weighted combination of the mean and the minimum value of the individual connection quality scores, whereas this weighting depends again on the mean of the individual connection quality scores. 7. Specific design details of the experimental methods distinguished the achieved sensitivity of the experiments in terms of their ability to detect the mutual influence of individual connections, to provide evidence that a simple mean is not always sufficient, and to show the added value of using advanced modeling functions. The next steps will be to transfer the found knowledge to technical applications. Foremost, this requires to repeat the modeling work with replacing the perceptual quality ratings of the individual connections with instrumental estimations. Later on, such models could be further improved by including the impact of the communication aspects, which will require the development of technical approaches to estimate aspects such as communication complexity or involvement

3CNG – 3-party Celebrity Name Guessing task for conferencing assessment

This document provides a description of a Celebrity Name Guessing task, which is also referred to as “Who am I?”-Game. The present document describes a version of that game for groups of three test participants, as it has been used in [Skowronek2017]. They instructions are written in German as they have been used in tests with German native speakers. Correspondingly, the celebrities are chosen from the German cultural background; that means national and international celebrities who are well-known in Germany. Note: A version for groups of two test participants has been used in [Schoenenberg2016]. For an overview of related or updated documents, see https://github.com/Telecommunication-Telemedia-Assessment/Scenarios.gi

Automatic surveillance of the acoustic activity in our living environment

We report an experiment with an acoustic surveillance system comprised of a computer and microphone situated in a typical office environment. The system continuously analyzes the acoustic activity at the recording site, separates all interesting events, and stores them in a database. All interesting acoustic events over a duration of more than two months were recorded. A number of low-level signal features are computed from the audio signal and used to classify and identify sound events. The analysis reveals interesting patterns and activities which would be difficult to find by any other means.</p

Towards a ground truth for affective classification in movies

\u3cp\u3eAutomatic affective movie classification can be a powerful technology that can facilitate searching, recommending and playlisting of movies. In the process of developing a good classification system, the identification of suitable classes and the selection of proper training material is crucial. In this paper we describe the process of developing a reliable ground truth database that will be used for automated classification of emotions conveyed in movies. We identify a list of emotion labels that people commonly use to describe emotions in movies and employ them to annotate movie fragments. The most adequate fragments are then selected to form the final ground truth database which can later be used for affective classification in movies.\u3c/p\u3